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摘 要 [目的 /意义 ] 构建 突变 指数 测度 论文 创新 性 , 为 完善 学 术 论 文 创新 性 评价 体系 提供 参考 。 
[方法 /过 程 ] 使 用 大 型 语言 模型 (LLM) Mistral-openorca 抽取 论文 研究 问题 和 研究 方法 ， 以 论 
文 研究 问题 和 研究 方法 与 已 有 研究 的 相似 性 及 其 引起 后 续 研 究 的 追随 程度 两 维度 构建 突变 指 
数 对 论文 创新 性 进行 测度 。[ 结 果 / 结 论 ] 高 创新 性 得 分 的 论文 通常 具有 较 高 的 被 引 频次 ， 创 新 
性 排名 位 于 前 10 名 的 论文 中 有 7 篇 论文 提出 了 原创 性 的 方法 或 工具 , 而 创新 性 排名 位 于 后 10 
名 的 论文 研究 主题 和 方法 在 论文 发 表 时 都 较为 成 熟 , 创新 程度 较 低 ; 论文 创新 性 得 分 与 论文 被 
引 频 次 之 间 的 相关 系数 为 0.530， 实 证 研究 结果 进一步 证 实 了 本 文 提 出 的 突变 指数 在 测度 论文 
创新 性 方面 的 有 
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创新 是 推动 科学 进步 的 重要 驱动 力 , 近年 来 , 我 国 大 力 推进 创新 驱动 发 展 战略 ， 
出 台 系列 政策 鼓励 科技 创新 发 展 。 习近平 总 书记 在 党 的 二 十 大 报告 ”中 指出 必须 坚 
持 创 新 是 第 一 动力 , 深入 实施 创新 驱动 发 展 战略 , 突出 强调 了 科技 创新 对 于 建设 科 
技 强国 的 重要 作用 。《 中 共 中 央 关 于 制定 国民 经 济 和 社会 发 展 第 十 四 个 五 年 规划 和 
二 O 〇 三 五 年 远景 目标 的 建议 》” 中 ,将 “坚持 创新 ” 列 为 未 来 五 年 十 二 项 重要 领域 
工作 的 首位 , 指出 在 科技 创新 上 要 强化 国家 战略 科技 力量 , 激发 人 才 创 新 活力 ,， 完 
善 科技 创新 体制 机 制 ， 坚 决 破 除 “ 唯 学 历 、 唯 职称 、 唯 学 历 、 唯 奖项 ” 在 此 背景 
下 ， 科 技 成 果 创新 性 评价 成 为 科技 创新 发 展 过 程 中 面临 的 关键 问题 。 

科技 论文 是 科技 成 果 的 重要 形式 ,其 承载 了 各 领域 的 前 沿 研究 成 果 , 是 国家 整 
体 科技 创新 水 平 的 体现 ， 在 新 时 代 的 背景 下 如 何 构 建 一 套 科学 的 科技 论文 创新 评 
价 体 系 ， 推 动 科 技 论文 创新 性 识别 研究 迈 回 新 台阶 是 当前 学 界 与 实践 界 共 同 关注 
的 重要 问题 , 而 设计 科学 、 行 之 有 效 的 科技 论文 创新 性 识别 方法 则 是 开展 科技 论文 
创新 性 评价 活动 的 基础 与 核心 ， 同 时 也 是 解决 当前 科技 论文 创新 性 评价 与 识别 领 
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域 问 题 的 关键 。 然 而 当前 学 界 在 学 术 论 文 创新 性 识别 方法 的 研究 方面 依旧 留 有 探 
索 空间 ， 因 此 ， 本 文 在 已 有 研究 基础 上 , 构建 突变 指数 测度 论文 创新 性 ， 以 期 为 完 
善 科技 论文 创新 性 评价 方法 体系 提供 一 定 参考 。 


1 相关 概念 与 研究 现状 /Relevant Concepts and Research Status 


1. 1 论文 创新 性 的 概念 


学 界 对 创新 性 的 定义 和 理解 尚未 形成 统一 标准 , 但 普 壳 认同 的 是 , 创新 性 论文 
应 当 在 某 种 程度 上 推动 科学 知识 的 发 展 和 进步 。 根据 M. Saunila 等 ”的 研究 , 创新 
性 可 以 被 视 为 科研 成 果 在 理论 、 方 法 或 实践 层面 上 对 现 有 知识 体系 的 产生 贡献 , 不 
仅 体现 在 研究 成 果 的 新 颖 性 上 , 还 体现 在 其 对 学 术 界 或 实践 领域 的 深远 影响 上 。 
Jt, 创新 性 应 当 包 括 两 个 基本 要 素 : 新 颖 性 (Novelty) 和 有 用 性 (Usefulness)“。 
新 疾 性 指 的 是 研究 成 果 在 学 术 界 前 所 未 有 ， 而 有 用 性 则 指 这 些 成 果 能 够 解决 实际 
问题 或 推动 理论 发 展 。H.F. Moed“ 认 为， 创新 性 可 以 通过 论文 的 引用 情况 间接 衡 
量 , 即 一 篇 论文 如 果 能 在 短 时 间 内 被 广泛 使 用 , 那么 它 很 可 能 具有 较 高 的 创新 性 。 
所 以 本 文 认为 ， 论 文 创新 性 可 以 通过 论文 是 否 有 新 的 知识 提出 和 是 否 为 后 续 研究 
带 来 价值 两 个 维度 进行 量化 。 


1.2 论文 创新 性 的 定量 测度 方法 


当前 研究 通常 从 论文 新 颖 性 和 有 用 性 两 个 维度 对 论文 创新 性 进行 测度 ”新颖 
性 的 知识 元 素 是 衡量 论文 是 否 创 新 的 首要 前 提 条 件 ， 也 是 检验 论文 是 否 具备 潜在 
创新 价值 的 标准 之 一 , 具体 测度 时 , 学 界 通常 通过 差异 度 对 科技 论文 的 新 颖 性 进行 
表征 ， 从 论文 中 是 否 出 现 新 的 知识 元 素 及 知识 元 素 组 合 的 视角 进行 测度 ”。 但 受 限 
于 实体 识别 和 提取 的 难度 , 早期 许多 研究 多 是 基于 论文 主题 词 、 关 键 词 以 及 参考 文 
献 等 指标 及 其 组 合 评价 论文 创新 性 ， 上 述 指标 实际 在 刻画 论文 核心 内 容 方面 的 作 
用 较为 有 限 ， 而 当前 深入 到 论文 核心 知识 内 容 层 面 的 相关 测度 指标 的 开发 依旧 有 
待 探 索 。 通过 对 学 界 相 关 研 究 的 梳理 可 见 , 研究 问题 和 方法 可 视 为 科技 论文 的 核心 
组 成 部 分 , 已 有 研究 表明 新 颖 的 问题 或 方法 意味 科技 论文 具备 创新 潜力 , 更 有 可 能 
带 来 创新 ”。 因 此 ， 从 论文 研究 问题 与 研究 方法 出 发 识别 创新 性 论文 是 较为 有 效 的 
方式 ， 本 文 也 将 采取 基于 论文 研究 问题 与 方法 组 合 相 似 度 的 方式 对 论文 新 颖 性 进 
行 量化 。 


有 用 性 是 衡量 学 术 论文 价值 的 关键 指标 之 一 , 目前 , 研究 人 员 普 裔 采用 被 引 频 


次 作为 衡量 学 术 论 文 有 用 性 的 主要 工具 。 然 而 , 被 引 频 次 作为 衡量 有 用 性 的 工具 存 
在 一 定 的 局 限 性 ， 引 用 次 数 可 能 受到 人 为 操纵 ; 其 次 , 被 引 频次 可 能 无 法 全 面 反 映 
论文 的 实用 价值 ， 因 为 一 些 具有 长 期 影响 的 研究 可 能 在 初期 并 未 获得 大 量 的 引用 ; 
此 外 , 被 引 频 次 也 忽视 了 引用 的 质量 ， 即 引用 的 正面 或 负面 评价 ， 以 及 论文 对 特定 
领域 或 问题 的 深入 探讨 程度 。 本 文 在 现 有 研究 基础 上 , 通过 当前 研究 的 研究 主题 与 
方法 引起 后 续 研 究 妃 随 程度 的 方式 测度 论文 有 用 性 ， 以 此 构建 突变 指数 测度 论文 
创新 性 。 


1. 3 实体 抽取 研究 


在 实体 识别 和 抽取 方面 , 现 有 研究 多 使 用 SVM 等 传统 机 器 学 习 模型 或 深度 学 
习 模 型 、BERT 等 语言 模型 ， 但 上 述 模型 都 对 数据 标注 有 较 高 的 依赖 ， 在 标注 数据 
较 少 或 者 质量 不 佳 时 模型 的 性 能 会 受到 较 大 的 影响 ， 同 时 部 分 研究 在 抽取 问题 和 
方法 实体 时 还 面临 着 人 工 标注 成 本 过 高 、 基 于 简单 规则 匹配 抽取 实体 带 来 的 准确 
率 问 题 等 挑战 , 一 个 平衡 成 本 和 准确 率 的 问题 、 方 法 实体 抽取 方法 成 为 当前 号 需 解 
决 的 问题 。 近年 来 ,， ChatGPT 等 大 语言 模型 快速 发 展 ,其 已 在 阅读 理解 和 情感 分 析 
等 自然 语言 处 理 任务 中 表现 出 较 好 的 性 能 ， 同 时 已 有 研究 将 大 语言 模型 用 于 实体 
识别 任务 , 如 M.P. Polak 等 "通过 ChatExtract 方法 在 不 需要 额外 调 优 和 进行 大 量 代 
码 开发 工作 的 情况 下 即 可 识别 相应 实体 ，ChatGPT4 等 较 好 的 LLMs 在 应 用 于 实体 
提取 的 测试 中 达到 了 接近 90% 的 精确 率 和 召回 率 。 总 之 ， 大 语言 模型 在 实体 抽取 
的 效果 上 显著 优 于 其 他 模型 ， 因 此 ， 本 文 用 大 语言 模型 进行 实体 抽取 。 

当前 研究 虽然 对 论文 创新 性 测度 方法 展开 了 系列 探索 ， 但 仍 留 有 较 多 探索 空 
间 , 具体 表现 为 测度 指标 未 完全 反映 论文 核心 研究 内 容 与 问题 、 实 体 抽 取 效 率 及 准 
确 率 低 、 衡量 创新 性 的 方法 不 完善 等 。 基于 上 述 学 者 对 创新 性 的 定义 以 及 本 文 对 创 
新 性 概念 的 理解 ， 本 文 进一步 构建 包含 新 绪 性 与 有 用 性 两 维度 的 突变 指数 的 论文 
创新 性 识别 模型 测度 论文 创新 性 。 


2 论文 创新 性 识别 方法 设计 / Design of Innovative Identification 


Methods for Academic Papers 

依据 已 有 研究 , 论文 Pi 的 创新 性 可 通过 该 论文 自 映 新 颗 性 及 有 用 性 衡量 ， 本 文 
使 用 能 够 体现 论文 核心 内 容 的 研究 主题 与 方法 的 来 衡量 论文 是 否 具备 新 颖 性 和 有 
用 性 。 新 颖 性 具体 可 通过 抽取 的 主题 词 或 方法 词 在 Pj 发 表 前 的 词 频 来 测度 ,， 有 用 性 


则 使 用 文章 P, 发 表 前 后 对 应 主题 词 与 方法 词 的 词 频 增 长 速度 变化 来 测度 , 具体 设计 
如 下 规则 : 

C1) 新 颖 性 : 如 果 Pi 发 表 前 该 词 的 词 频 较 低 ， 则 认为 该 词 是 新 颖 的 ， 但 如 果 
相关 词 在 Pi 发 表 前 拥有 较 高 的 词 频 , 但 是 在 Pi 发 表 前 的 数 年 内 词 频 较 低 ， 则 也 认为 
该 词 是 新 颖 的 。 

(2) 有 用 性 : 如 果 文章 Pi 发 表 后 ， 其 主题 词 或 方法 词 的 增长 速度 明显 增 大 ， 
则 认为 该 词 能 够 引发 后 续 研 究 的 追随 "， 则 其 具有 较 高 的 有 用 性 。 同时， 如 果 文 章 
Pi 提出 的 方法 被 后 来 文章 所 使 用 ,那么 该 方法 上 共有 更 高 的 有 用 性 (相对 于 第 一 种 情 
况 )。 

本 文 首先 基于 LLM 模型 进行 问题 词 和 方法 词 的 抽取 ， 对 抽取 的 实体 进行 实体 
对 齐 的 基础 上 依据 本 文 设计 的 突变 指数 测度 论文 创新 性 


2.1 论文 主题 词 和 方法 词 抽取 


本 文 使 用 大 语言 模型 抽取 论文 研究 主题 词 与 研究 方法 词 ， 具 体 调 用 的 模型 为 
Mistral-7B-OpenOrca， 该 版 本 模型 是 一 个 由 Mistral-7B 基础 模型 在 OpenOrca 数据 
集 和 Mistral 7B 的 基础 上 进行 微调 的 语言 模型 。 在 发 布 时 在 所 有 小 于 30B 的 模型 
中 排名 第 一 ， 其 使 用 OpenChat 打包 ， 与 Axolotl 一 起 训练 。 能 够 达到 Llama2-70B- 
chat 性 能 的 98%。 是 第 一 个 具有 突破 性 性 能 的 完全 开放 模型 ， 即 使 在 适度 的 消费 
者 GPU 上 也 能 完全 加 速 运行 。 因 此 ， 本 文选 取 该 模型 进行 实体 抽取 。 

本 文 编写 python 自 定 程序 ， 将 提示 词 和 每 篇 文献 的 标题 与 摘要 传 入 大 语言 模 
型 Mistral-Openorca， 以 获得 结构 化 的 主题 词 和 方法 词 数据 。 

以 研究 方法 的 抽取 为 例 ， 本 文 设置 的 提示 词 如 图 1. 


+ 抽取 提出 的 方 ; 法 
prompt = f” 
As an experienced bibliometrics expert, you will receive the title and abstract of a research paper in the field of bibliometrics. Your task is to determine: 


1. Whether the paper proposes a new method or theory. 
2. Whether the paper improves on existing methods or theories. 
If the paper proposes a new method or theory, you need to extract the keywords of this method or theory. Prioritize the author’ s naming of this method or theory. If the author does not name the method or 
theory proposed, the value of "Method proposed’ should be ‘nan’ . If the author proposes an abbreviated name, usually marked in parentheses, you need to extract the full name of the method or theory and 
the abbreviation separately 


If the paper improves on existing methods or theories, you need to extract the improved method. The name of the improved method should also prioritize the author’ s naming method. Similarly, if there is an 
abbreviation, usually marked in parentheses, you need to represent it separately 

After extracting the required keywords, pene! reply in the form of a Python dictionary. The dictionary should contain two keys: "Method proposed and 'Method abbreviation' . If the paper proposes a 
new math od or theory, the value of 'Method proposed' is this method or theory and 'Method abbreviation’ is the abbreviation if any. if the paper improves on existing methods or theories, then the value of 

iod proposed' is the improved piod Or theory and ‘Method_abbreviation’ is the abbreviation if any. If the paper neither proposes a new method or theory nor improves on existing methods or 

ioe then the value of “Method proposed’ and ‘Method abbreviation’ is ‘nan’ ,Please note, if the article only uses a certain method or theory, but does not propose or improve the method or theory, 
then the value of "Method proposed’ and Method abbreviation should be ‘nan’ 

Here are examples of responses in three different situations: 

(Method proposed’: Time machine’, ‘Method abbreviation' nan") 

(('Method proposed" teh shan Re ric Impact Measure’, "Method abbreviation”'EBIM 

(('Method proposed'"nan', 'Method abbre an) 


Now, please complete the corresponding task based on the title and abstract. Please repeatedly confirm whether the method extracted indeed originates from the article (this is very very very very very*100000 
important). If not, then do not output the method term. Except for the Python dictionary, do not reply with any other content, a hd no explanation is needed. 

Please repeatedly confirm whether the method extracted indeed originates from the article (this is very very very very very*100000 important). Do not reply a vague method word. 

Do not forget the abbreviation if exists. 

Ttile: (title) 


Abstract (abstract) 


1 抽取 研究 方法 的 提示 词 


i 


Figure 1 Prompt for extracting research methods 
方法 词 抽取 过 程 如 下 : 
(1) 让 LLM 识别 出 提出 新 方法 的 论文 ， 抽 取出 相应 的 方法 词 作为 第 一 批 方 
法 词 集 合 M;}， 并 获取 MW 的 基于 语义 的 词 租 入 向 量 。 
(2) 让 LLM 抽取 所 有 论文 所 用 研究 方法 的 方法 词 〈 无 论 该 文章 是 否 提出 了 
新 方法 )， 作 为 第 二 批 方法 词 集 合 Mz， 并 获取 M2 基 于 语义 的 词 嵌入 向 量 。 
(3) 让 LLM 再 次 对 所 有 文章 进行 方法 词 抽 取 ， 但 是 ， 此 次 对 于 第 篇 文章 P， 


进行 方法 词 抽 取 时 ， 需 要 先 根 据 论文 P 在 M2 中 的 方法 词 Mi 通过 KNN 算法 利用 提 


前 获取 到 的 词 舱 入 查找 出 Mzi; 在 Mi 中 最 相似 的 10 个 词汇 作为 备 选 词 发 送 给 LLM, 
并 提示 LLM 如 果 备 选 词 中 存在 Pi 文章 所 使 用 的 方法 ， 则 直接 输出 相应 的 方法 词 ， 
反之 从 摘要 中 抽取 新 的 方法 词 ， 并 将 新 抽取 到 的 方法 词 放 入 集合 Mi 并 获取 新 方法 
词 的 词 嵌 入 向 量 ， 获 得 第 三 批 方法 词 集合 Ms。 

主题 词 抽取 过 程 如 下 : 

(1) ib LLM 抽取 所 有 文章 的 研究 主题 词 , 作为 第 一 批 主 题词 集合 Ti ， 并 获取 
聊 基 于 语义 的 词 嵌入 向 量 。 

(2) 筛选 出 主题 词 集合 中 所 有 词 频 大 于 等 于 5 的 主题 词 作 为 第 二 批 主 题词 


(3) 与 上 述 方法 词 的 抽取 过 程 同 理 ， 让 LLM 再 次 对 所 有 文章 进行 主题 词 抽 
取 , 但 是 ， 此 次 对 于 第 篇 文章 Pi 进行 主题 词 抽 取 时 ， 先 根据 Pj 文章 在 区 中 的 主题 词 
Tii 通 过 KNN 算法 利用 提前 获取 到 的 词 柑 入 查找 出 Ti 在 7 中 最 相似 的 10 个 词汇 作 
为 备 选 词 发 送 给 LLM, 并 提示 LLM 如 果 备 选 词 中 存在 P; 文 章 的 研究 主题 , 则 直接 
输出 相应 的 主题 词 , 反之 从 标题 和 摘要 中 抽取 新 的 主题 词 , 并 将 新 抽取 到 的 主题 词 
放 入 集合 7 并 获取 新 主题 词 的 词 炭 入 向 量 。 获 得 第 三 批 主题 词 集合 Ts。 通过 上 述 抽 
取 过 程 即 可 获得 研究 所 用 主题 词 与 方法 词 集 。 


2.2 实体 对 齐 


在 抽取 研究 主题 词 与 研究 方法 词 的 基础 上 ， 需 对 主题 词 与 方法 词 进行 实体 对 
齐 以 保证 计算 结果 的 准确 性 。 具 体 而 言 ， 本 文 利用 Mistral-Openorca i AES, 
事先 获取 第 一 批 高 频 主 题词 和 方法 词 的 词 伐 入 ， 随 后 利用 KNN 算法 查找 出 与 每 篇 
文献 的 主题 和 方法 最 相似 的 10 个 备 选 词 传 入 大 语言 模型 ， 得 到 对 齐 后 的 主题 词 和 


最 终 获 得 第 一 批 主题 词 共有 18143 个 ， 第 一 批 方法 词 共 8674 个 ; 对齐 后 主题 
词 共 15121 个 ， 方 法 词 共 6121 个 ， 有 具体 主题 抽取 与 对 齐 结果 示例 如 图 2 所 示 。 除 
此 ， 本 文 也 对 实体 对 齐 前 后 的 主题 词 和 方法 词 的 词 频 分 布 图 进行 了 分 析 ， 见 图 3。 
通过 对 齐 前 后 的 词 频 分 布 可 以 看 出 ， 本 文 所 用 实体 对 齐 方 式 能 够 将 语义 基本 一 致 
的 主题 词 和 方法 词 进行 统一 ， 如 第 一 批 高 频 主 题词 中 Citations 和 Citation Analysis 
都 对 应 引文 分 析 的 主题 ， 在 对 齐 后 统一 为 Citation Analysis, Citations 则 未 出 现在 
对 齐 后 的 高 频 词 中 ， 对 齐 前 的 高 频 方 法 词 中 ，Bibliometric Method 和 Bibliometric 
Approach 实际 都 是 计量 学 方法 ， 其 对 齐 后 都 统一 为 Bibliometric Analysis。 
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Ce) 第 一 批 高 频 方法 词 CD 对 齐 后 高 频 方法 词 
图 3 实体 对 齐 前 后 的 词 频 分 布 情况 


Figure 3 Word frequency distribution before and after entity alignment 


2.3 突变 指数 计算 


依据 上 述 实 体 抽取 结果 和 新 颖 性 、 有 用 性 基本 算法 , 本 文 构建 了 突变 指数 测度 
论文 创新 性 。 假 如 文章 BB 在 ti 日 期 发 表 ， 其 共有 |Ti| 个 主题 词 和 |Mi| 个 方法 词 ， 其 中 


主题 词 为 :TijG=12,.ITiD)， 方 法 词 为 Mi jj=1,2,...1Mi)° 


在 ti 日 期 前 后 window 天 数 时 间 [t; — window, t; + window] H, EAT, j EP; 


发 表 前 和 发 表 后 window 天 内 的 词 频 分 别 为 Nposttr;) 和 Npre(ri ); 类 似 地 ， 方 法 词 


Mij 在 有 发 表 前 和 发 表 后 window 天 内 的 词 频 分 别 为 Npostow y fI Moser; s tr 为 同样 


使 用 了 Tj 或 Mij 的 文章 B. 的 发 表 时 间 ，|ti — t| APR SPM RA Wie. f(A tt) 和 


g( 人 At) 分 别 为 主题 词 和 方法 词 对 突变 指数 的 贡献 的 衰减 函数 ， 如果 文章 Pj 与 BP. 拥有 
某 一 相同 的 主题 词 或 方法 词 ， 那 么 B 与 P. 发 表 时 间 越 接近 ， 则 该 词 对 突变 指数 的 贡 


献 越 大 。 其 中 参数 和 和 2 为 时 间 衰 减 参数 ， 取 值 范围 为 (0,1)， 中 为 原创 方法 参数 ， 
如 果 Mij 是 原创 方法 ， 则 中 取 值 m(m > 1), 否则 中 取 值 1。 

所 有 参数 window、 和 1、XA2、m 的 具体 数值 根据 实证 领域 的 情况 选取 。 

(1) 主题 7 ,的 突变 指数 : 


Mutation(T;;) = (1) 
| sep «D BO qup 
(2) 方法 Mi 的 突变 指数 : 
Npost(Mij) e|, Npre(Mij) cy 
Mutation(M; ; ) = DEMNM LU REB Lu (Mj) HS uc e (Mi ae = (2) 
Ed ED ae rotes 
(3) MEP AREA: 
ITil IMil 
Mutation(P;) = > Mutation(T; ;) + > Mutation(M, ;) (3) 
(4) 衰减 函数 f( ^ C) lg ( ^ t): 
f( ^t) = exp( -4, * ^t) (4) 
g( At) = $*exp(-4; * ^t) (5) 


3 实证 研究 /Empirical Research 


3.1 数据 收集 与 处 理 


本 文 所 用 数据 来 源 于 Web of Science (WoS 数据 库 ), 为 便于 结果 解读 与 分 析 ， 
本 文选 取 本 专业 中 信息 计量 学 方向 研究 论文 作为 样本 数据 。 具 体 而 言 ， 在 Wos 核 
心 合集 数据 库 中 ， 通 过 期 刊 名 称 (publication titles) 进行 检索 ， 选 取 
SCIENTOMETRICS 、JOURNAL OF INFORMETRICS 、Research Evaluation 、 


Information and Management, Journal of Information Science. Research 
Policy 等 6 本 与 计量 学 相关 的 期 刊 。 由 于 上 述 期 刊 中 早期 发 表 的 论文 较 少 , 而 近 几 
年 的 文章 的 后 向 文章 数量 较 少 , 为 保证 有 足够 的 观察 时 间 窗 口 , 同时 确保 数据 的 有 
效 性 ， 减 少 出 现 异常 值 的 频率 ， 本 文选 取 2009 年 至 2016 年 之 间 的 文献 进行 实证 
分 析 。 本 文 获取 上 述 期 刊 在 2009-2016 年 发 表 的 所 有 论文 的 全 记录 (Full record) 
与 引用 数据 。 由 于 初次 获取 的 样本 数据 存在 标题 、 摘 要 等 数据 项 不 全 的 情况 ,因此 


本 文 对 该 部 分 数据 进行 了 清洗 ， 清 洗 后 共计 剩余 样本 论文 14,138 篇 ， 其 中 用 于 实 
证 分 析 的 2009 年 至 2016 年 之 间 的 样本 论文 共 4881 篇 。 


3. 2 结果 分 析 


3.2.1 总体 得 分 分 布 情况 

论文 基本 统计 结果 见 表 1， 通 过 表 1 可 见 ， 论 文 创新 性 均值 为 1.043， 中 位 数 
为 0.2002， 最 大 值 为 208.693， 最 小 值 为 -12.948， 得 分 大 于 中 位 数 的 论文 有 2441 
篇 ， 小 于 中 位 数 的 论文 有 2440 篇 。 论 文 创新 性 测度 结果 如 图 4 所 示 ， 图 中 横 坐 标 
为 创新 性 分 数 , 纵 坐 标 为 分 布 在 特定 区 间 中 的 样本 的 概率 , 越 高 表示 分 布 在 该 区 间 
中 的 样本 概率 越 大 。 由 图 4 可见， 论文 创新 性 集中 分 布 在 区 间 -3，2] 和 区 间 〈2， 
7] 中 。 


de 1 测度 结果 描述 性 分 析 
Table 1 Descriptive analysis of measurement results 
均值 Pia ”标准 差 ”最 大 值 最 小 值 25% 50% 75% 
1.043 0 4.775 208.693 -12.948 0.0 0.200 1.613 


得 分 区 间 
图 4 突变 指数 统计 分 布 
Figure 4 Statistical Distribution of Mutation Index 


3.2.2 排名 最 高 与 最 低 的 论文 比较 分 析 

本 文 进一步 比较 分 析 样 本 数据 中 创新 性 得 分 位 于 前 10 名 与 后 10 名 的 论文 以 
检验 测度 模型 与 测度 方法 的 有 效 性 。 分 析 结 果 见 表 2 和 表 3。 表 2 为 创新 性 最 强 的 
10 篇 论文 。 本 文 对 上 述 论 文 进行 了 逐 篇 分 析 ， 对 其 是 否 提出 新 突 的 研究 方法 与 研 


Os 


完 主题 等 内 容 进行 分 析 。 通 过 表 6 中 创新 性 最 强 的 10 篇 论文 的 基本 情况 可 见 ， 突 
变 指数 前 10 篇 文章 中 前 7 篇 强 提 出 了 原创 方法 ， 具 有 较 高 的 创新 性 ， 如 排名 位 于 


第 1 名 的 论文 : Software survey: VOSviewer, a computer program for bibliometric 


mapping， 该 论文 提出 了 VOSviewer 计量 工具 ， 作 者 是 NJ. van Eck 等 人 ; 排名 第 2 


的 论文 : Anew approach to the metric of journals' scientific prestige: The SJR indicator, 

该 论文 提出 了 一 种 衡量 科学 期 刊 影响 力 的 指标 SCImago Journal Rank indicator, fF 
者 是 Gonzalez-Pereira A, SIR 考虑 了 期 刊 文章 被 引用 的 质量 和 来 源 ， 而 不 仅仅 
是 引用 的 数量 ， 从 而 提供 了 一 个 更 为 全 面 和 细致 的 期 刊 评价 体系 。 排 名 第 3 的 论 
X. "Measuring contextual citation impact of scientific journals" H Moed FARS, 

提出 了 Source Normalized Impact per Paper (SNIP)JE Es. SNIP 旨 在 衡量 期 刊 的 引用 
影响 ,考虑 了 学 科 领 域 的 引用 行为 差异 , 为 期 刊 评价 提供 了 新 的 视角 。 排名 第 4 的 


论文 “Introducing CitedReferencesExplorer (CRExplorer): A program for reference 


publication year spectroscopy with cited references standardization" HH Thor 等 人 撰写 ， 
介绍 了 CRExplorer 这 一 工具 ， 它 用 于 分 析 参 考 文献 的 出 版 年 份 ， 并 通过 标准 化 被 
引用 参考 文献 的 出 版 年 份 来 增强 对 研究 趋势 的 理解 。 排名 第 5 的 论文 “Bibliometric 
impact assessment with R and the CITAN package" Hi M.Gagolewski 撰写 ， 提 出 了 
CITAN 包 ， 这 是 一 个 基于 R 语言 的 工具 ， 用 于 进行 科学 计量 学 影响 评估 ， 为 研究 
者 提供 了 强大 的 分 析 工 具 。 排 名 第 6 的 论文 “hg-index: a new index to characterize 


the scientific output of researchers based on the h- and g-indices" HH S.Alonso 55 A $ 
写 ， 提 出 了 hg-index， 这 是 一 个 新 的 指标 ， 结 合 了 h-index 和 g-index, SERA 
地 描述 研究 人 员 的 科学 产 出 。 这 些 论文 的 共同 特点 是 提出 了 新 的 工具 、 方 法 或 指标 ， 
这 些 都 对 科学 计量 学 领域 的 发 展 产生 了 重要 影响 。 

同时 通过 分 析 发 现 , 虽然 论文 Introducing CitedReferencesExplorer (CRExplorer): 


A program for reference publication year spectroscopy with cited references 
standardization 和 Bibliometric impact assessment with R and the CITAN package 等 的 
被 引 频 次 相对 而 言 并 不 高 ,但 通过 分 析 可 见 , 这 两 篇 分 别提 出 CRExplorer 和 CITAN 
package 工具 ， 它 们 都 是 计量 学 领域 非常 实用 的 工具 ， 可 见 模型 能 够 有 效 挖掘 上 述 
类 型 论文 。 

排名 前 10 名 的 其 他 论文 中 ， 尽 管 某 些 论 文 可 能 没有 提出 全 新 的 研究 方法 ， 但 
它们 探讨 的 研究 主题 在 其 领域 内 具有 新 颖 性 和 重要 性 。 例 如 ，PSud 等 人 的 论文 


“Evaluating altmetrics” 发 表 于 2014 年 , 聚焦 于 Altmetrics 这 一 新 兴 的 科学 计量 学 
方法 。 在 当时 ，Altmetrics 作为 一 种 蔡 代 传统 的 引用 计数 的 指标 ， 能 够 提供 关于 学 
术 成 果 在 社交 媒体 和 其 他 非 传 统 渠 道中 的 影响 力 和 传播 情况 的 见解 。 这 项 研究 对 
于 理解 和 评估 学 术 成 果 的 社会 影响 具有 重要 意义 。B.Hammarfelt 的 研究 “Using 
altmetrics for assessing research impact in the humanities” 同 样 关注 Altmetrics， 特 别 
是 在 人 文学 科 领 域 的 应 用 。 这 项 研究 探讨 了 如 何 利用 Altmetrics 来 评估 人 文学 科研 
究 的 影响 力 , 这 是 一 个 相对 较 少 被 关注 的 领域 , 因此 其 研究 主题 具有 创新 性 。 另 一 
方面 ，R.Prabowo 等 人 的 论文 “Sentiment analysis: A combined approach” 发 表 于 
2009 年 ， 研 究 了 情感 分 析 的 结合 方法 ， 包 括 基 于 规则 的 分 类 、 监 督学 习 和 机 器 学 
2]. 情感 分 析 是 自然 语言 处 理 NLP) 领域 的 一 个 重要 分 支 ， 它 涉及 到 识别 和 提取 
文本 中 的 情感 倾向 。 在 当时 , 机 器 学 习 和 深度 学 习 技术 在 情感 分 析 中 的 应 用 还 处 于 
起 步 阶段 , 因此 这 项 研究 对 于 推动 该 领域 的 技术 进步 具有 重要 作用 。 这些 论文 虽然 
没有 提出 全 新 的 方法 , 但 它们 在 研究 主题 的 选择 上 展现 了 创新 性 , 为 相关 领域 的 研 
究 提 供 了 新 的 视角 和 思路 。 这 些 研究 的 高 突变 指数 反映 了 它们 在 推动 学 术 领 域 发 
展 和 创新 方面 的 贡献 。 对 上 述 论文 的 分 析 进 一 步 验证 了 测度 模型 和 方法 在 评估 论 
文 创新 性 方面 的 有 效 性 。 

得 分 位 于 最 后 10 名 的 论文 见 表 3, 可 见 排名 后 10 名 的 论文 缺乏 研究 方法 和 研 
究 主 题 上 的 新 颖 性 。 例 如 ， 排 名 最 低 的 论文 “An informetric model for the success- 
index” 由 F.Franceschini 等 人 在 2013 年 发 表 ， 该 论文 没有 提出 新 的 方法 ， 而 是 探 
讨 了 成 功 指数 (success-index〉 的 信息 咨询 模型 (informetric model)， 尚 未 带 来 新 
的 视角 或 突破 ， 研 究 结果 没有 对 现 有 的 知识 体系 产生 显赫 的 补充 或 挑战 。 
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2 突变 指数 排名 前 10 的 论文 


Table 2 Top 10 Papers ranked by mutation index 


题 


Software survey: VOSviewer, a computer program for 
bibliometric mapping 

A new approach to the metric of journals' scientific prestige: The 
SJR indicator 


Measuring contextual citation impact of scientific journals 


Is science becoming more interdisciplinary? Measuring and 


mapping six research fields over time 


Introducing CitedReferencesExplorer (CRExplorer): A program 
for reference publication year spectroscopy with cited references 
standardization 


Bibliometric impact assessment with R and the CITAN package 
hg-index: a new index to characterize the scientific output of 
researchers based on the h- and g-indices 

Evaluating altmetrics 


Sentiment analysis: A combined approach 


Using altmetrics for assessing research impact in the humanities 


被 引 量 
7413 


402 


410 


560 


91 


45 


171 


202 


420 


144 


提出 方法 


VOSviewer 


SCImago Journal 
Rank indicator 
Source Normalized 
Impact per Paper 


Integration score 


CitedReferencesExplo 
rer (CRExplorer) 


CITAN 


hg-index 


主题 词 


Bibliometric Mapping, Software 


SCImago Journal Rank (SJR), 


Scholarly Journals Prestige 


Journal Citation Impact, SNIP 


Interdisciplinarity, Research Fields 


Bibliometric, Reference Publication 


Year Spectroscopy 


Bibliometric impact assessment, R 


h-index, Scientific Output 


Altmetrics, Evaluation 


Sentiment Analysis 


Altmetrics, Research Impact, 


Humanities 


方法 词 


SCImago Journal Rank (SJR) 
Indicator, Eigenvector Centrality 
\ 


Bibliometrics Analysis, Integration 
Score (Rao-Stirling Diversity), 
Science Mapping Visualization 

\ 


CITAN Package 


Correlation Tests, Content Analyses, 
Interview, Pragmatic Analyses 
Rule-based Classification, Supervised 
Learning, Machine Learning 


Mendeley, Twitter, Library Thing 


突变 指数 
208.694 


159.292 


95.235 


49.319 


43.662 


41.433 


30.371 


28.568 


24.120 


20.704 


作者 
JM.van Zyl &$?l,. 2013 


D.Smith 221, 2013 


A.Pepe 3], 2010 


D.Bouyssou $41, 2014 


M.Song P51, 2015 


J.Zheng $91. 2014 


M.Schreiber 27], 2014 


F.Franceschini 8), 
2013 
CY.Wu 91, 2014 


YW.Chang 5°, 2014 


题 


Table 3 Papers ranked in the bottom 10 by mutation index 


| 


€ 3 突变 指数 排名 后 10 的 论文 


A simulation study to investigate the accuracy 0 


of approximating averages of ratios using 


ratios of averages 


What determines the location choice of R&D 


activities by multinational firms? 


Collaboration in sensor network research: an 


in-depth longitudinal analysis of assortative 


mixing patterns 
An axiomatic approach to bibliometric 


rankings and indices 


Identifying the landscape of Alzheimer's 


disease research with network and content 


analysis 


Influences of counting methods on country 
rankings: a perspective from patent analysis 


Is the new citation-rank approach P100' in 


bibliometrics really new? 


An informetric model for the success-index 


Comparisons of technological innovation 


capabilities in the solar photovoltaic 


industries of Taiwan, China, and Korea 


Exploring scientific articles contributed by 


industries in Taiwan 


被 引 量 ”提出 方法 
\ 
63 \ 
36 \ 
26 \ 
25 \ 
9 \ 
3 \ 
3 \ 
31 \ 
8 \ 


主题 词 


Simulation Study, Accuracy, Averages Of 


Ratios, Ratios Of Averages 


Multinational Firms, R&D Activities 


Scientific Collaboration, Sensor 


Networks 


Bibliometric Rankings, Indices 


Alzheimers Disease, Research 


Patent Analysis, Country Rankings 


Citation Rank, Bibliometric 


Success-index, Informetric Model 


Technological Innovation Capabilities, 


Solar Photovoltaic Industries, Taiwan, 


China, Korea 


Industries, Taiwan 


方法 词 
Zeta Distribution, Bootstrap Confidence 


Intervals, Log-Logistic Distribution 


Network Analysis, Content Analysis, Productivity 
Analysis 


Whole Counting, Straight Counting, Normalized 
Counting, Complete-Normalized Counting 


P100] 


Information Production Processes (IPPs), Theory 
Of Information Production Processes 
Database Analysis, Patent Portfolio, Technology 


Platforms 


突变 指数 


-5.770 


-6.041 


-6.254 


-6.382 


-6.798 


-6.842 


-8.10 


-9.335 


-10.084 


-12.948 


3. 2. 3 论文 创新 性 与 被 引 频 次 的 相关 性 分 析 

上 述 分 析 表 明 本 文 构建 的 模型 可 有 效 识别 出 具有 很 强 创新 性 的 论文 ， 本 文 进 
一 步 检 验 论 文 创新 性 与 被 引 频 次 间 的 相关 关系 ， 如 表 4。 经 检验 ， 论 文 创新 性 分 数 
与 论文 在 核心 合集 中 的 被 引 频 次 呈 显 著 正 相 关 关系 ， 相 关系 数 为 0.530。 
表 4 论文 创新 性 与 被 引 频 次 的 相关 关系 
Table 4 The correlation between paper innovation and citation frequency 


2009 年 至 2016 年 之 间 论 文 突变 指数 与 被 引 频 次 的 皮尔 逊 相关 系数 P [fü 
0.530 «0.001 


除 此 ， 本 文 也 对 不 同 创 新 性 得 分 区 间 中 论文 被 引 频 次 的 分 布 情况 进行 了 分 析 ， 
分 析 结 果 见 图 5。 图 中 的 横 坐 标 表示 论文 的 创新 性 得 分 区 间 ， 而 纵 坐 标 则 代表 论文 
的 平均 被 引 频 次 。 从 图 中 可 以 观察 到 , 创新 性 得 分 较 高 的 论文 区 间 通 常 伴随 着 较 高 
的 平均 被 引 频次 。 具体 来 说 , 获得 最 高 平均 被 引 频次 的 论文 集中 在 较 高 的 创新 性 得 
分 区 间 内 。 这 表明 , 那些 在 创新 性 得 分 上 位 于 顶端 的 论文 , 往往 能 够 吸引 更 多 的 学 
术 关 注 和 引用 。 此 外 ， 图 中 的 趋势 还 显示 ， 随 着 论文 创新 性 得 分 的 提高 ， 其 被 引 频 
次 也 呈现 上 升 趋势 。 这 进一步 印证 了 创新 性 与 论文 影响 力 之 间 的 正 相 关 关 系 。 换 名 
话说 , 那些 在 研究 方法 、 理 论 框 架 或 实践 应 用 方面 提出 新 观点 和 新 思路 的 论文 , 更 
有 可 能 成 为 学 术 界 讨论 和 引用 的 焦点 。 
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图 5 被 引 频 次 区 间 分 布 图 
Figure 5 Distribution chart of citation frequency intervals 


4 研究 结果 讨论 与 展望 / Discussion of findings and outlook 

本 文 基于 论文 新 颖 性 和 有 用 性 维度 构建 了 测度 论文 创新 性 的 突变 指数 ， 首 先 
使 用 LLM 抽取 论文 研究 主题 与 研究 方法 ， 随 后 对 抽取 到 的 实体 进行 实体 对 齐 ， 使 
用 本 文 设计 的 突变 指数 测度 论文 创新 性 。 实证 研究 结果 表明 在 样本 数据 中 , 部 分 论 
文 因 其 提出 的 新 颖 研究 方法 或 主题 而 获得 了 较 高 的 创新 性 得 分 ， 这 些 论文 往往 能 
够 引领 学 术 界 的 趋势 , 激发 后 续 研 究 的 灵感 。 然 而 , 在 研究 方法 或 主题 上 未 能 展现 
出 足够 的 新 颖 性 或 实用 性 的 论文 其 创新 性 得 分 较 低 。 此 外 , 通过 对 排名 靠 前 及 靠 后 
的 论文 的 深入 分 析 ， 本 文 发 现 高 创新 性 得 分 的 论文 普遍 提出 了 原创 性 较 强 的 方法 
或 理论 , 并 且 这 些 论文 在 学 术 界 产生 了 较 大 的 影响 , 这 表明 创新 性 评价 指标 与 论文 
的 学 术 影 响 力 之 间 存 在 正 相 关 关 系 。 最后, 本 文 还 比较 了 不 同 创新 性 得 分 区 间 中 论 
文 的 被 引 频次 ， 结 果 显 示 创 新 性 得 分 较 高 的 论文 平均 被 引 频 次 也 较 高 。 

论文 创新 性 评价 对 于 学 术 界 具有 重要 意义 ， 它 不 仅 能 够 指导 研究 者 探索 未 知 
领域 , 还 能 够 促进 科研 资源 的 合理 分 配 和 科研 政策 的 有 效 制定 。 然 而， 当前 的 测度 
方法 仍 存 在 一 些 不 足 , 例如 对 新 兴 研 究 主题 的 敏感 度 不 足 ， 以 及 对 未 命名 原创 方法 
的 识别 能 力 有 限 。 实 证 研究 表明 ， 本 文 提出 的 基于 LLM 与 突变 指数 的 论文 创新 性 
识别 方法 , 能 够 有 效 地 识别 出 具有 高 创新 性 或 突变 性 的 论文 , 为 科技 论文 的 创新 性 
评价 提供 了 新 的 视角 和 工具 。 

本 文 也 存在 一 定局 限 , 主要 体现 为 模型 对 于 主题 词 或 方法 词 的 依赖 性 较 强 , 对 
于 未 严格 命名 的 原创 方法 或 主题 的 识别 能 力 有 限 。 未 来 的 研究 可 以 在 以 下 几 个 方 
向 进行 改进 和 拓展 : 首先 , 可 以 通过 增加 对 未 命名 方法 的 使 用 情况 的 判断 ， 提 高 模 
型 对 新 兴 研 究 主 题 的 敏感 度 ; 其 次 , 可 以 探索 更 细 粒 度 的 判断 和 对 齐 方法 ， 以 更 好 
地 识别 和 评价 那些 在 学 术 界 具有 潜在 影响 力 的 创新 性 研究 。 此 外 , 未 来 的 研究 还 可 
以 考虑 结合 其 他 学 科 的 理论 和 方法 ， 以 进一步 提高 论文 创新 性 评价 的 准确 性 和 全 
面 性 。 


参考 文献 : 
[1] 新 华 网 . 习近平 : 跟着 总 书记 学 习 二 十 大 报告 | 科技 是 第 一 生产 力 [EB/OL].  [2022-11- 
23]. http://www.xinhuanet.com/politics/2022-11/203/c_1129152012.htm. (XINHUANET. XI J P: Follow the General 


Secretary to study the report of the 20th National Congress | Science and technology is the first productive force 
[EB/OL]. [2022-11-23]. http://www.xinhuanet.com/politics/2022-11/203/c 1129152012.htm.) 

[2] 中 华人 民 共 和 国 商务 部 . 中 华人 民 共 和 国 中 央 人 民政 府 : 中共 中 央 关 于 制定 国民 经 济 和 社会 发 展 第 十 四 
个 五 年 规划 和 二 OO 三 五 年 远景 目标 的 建议 [EB/OL]. [2020-11-03].  https://www.gov.cn/zhengce/2020- 


11/03/content_5556991.htm. (Ministry of Commerce of the People's Republic of China. Central People's Government 


of the People's Republic of China: Proposal of the Central Committee of the Communist Party of China on the 
Formulation of the Fourteenth Five-Year Plan for National Economic and Social Development and the Visionary Goals 
for the 2035 Years [EB/OL]. [2020-11-03]. https://www.gov.cn/zhengce/2020-11/03/content 5556991.htm. 

[3] SAUNILA M, UKKO J. A conceptual framework for the measurement of innovation capability and its effects[J]. 
Baltic Journal of Management, 2012, 7(4): 355-375. 

[4] Cummings J L, TENG B S. Transferring R&D knowledge: the key factors affecting knowledge transfer success[J]. 
Journal of Engineering and technology management, 2003, 20(1-2): 39-68. 

[5] MOED H F. Citation analysis in research evaluation[M]. Springer Science & Business Media, 2006. 

[6] d dh, Wa, WAP, SR. RET A E a PE 6 IY SE E GR A T E UI BE UE FR YE]. 现代 情报 ， 
2023,43(8):161-177. (LI J, YANG X, SU Q D, et al. Review of the Research on the Measurement of Innovation of 


Scientific and Technological Achievements Based on the Theory of Knowledge Units [J]. Journal of Modern 
Information, 2023,43(8):161-177.) 

[7] FLEMING L. Recombinant uncertainty in technological search[J]. Management science, 2001, 47(1): 117-132. 
[8] LUO Z, LU W, HE J, et al. Combination of Research Questions and Methods: A New Measurement of Scientific 
Novelty[J]. Journal of Informetrics,2022,16(2):111282. 

[9] POLAK M P, MORGAN D. Extracting accurate materials data from research papers with conversational language 
models and prompt engineering[J]. Nature Communications, 2024, 15(1): 1569. 

[10] AMPLAYO RK, HONG SL, SONGM.  Network—based Approach to Detect Novelty of Scholarly 
Literature[J]. Information Sciences, 2018, 422:542 —557. 

[11] VAN ECK N, WALTMAN L. Software survey: VOSviewer, a computer program for bibliometric map**[J]. 
Scientometrics, 2010, 84(2): 523-538. 

[12] GONZALEZ-PEREIRA B, GUERRERO-BOTE V P, MOYA-ANEGON F. A new approach to the metric of 
journals’ scientific prestige: The SJR indicator[J]. Journal of Informetrics, 2010, 4(3): 379-391. 

[13] MOED H F. Measuring contextual citation impact of scientific journals[J]. Journal of Informetrics, 2010, 4(3): 
265-277. 

[14] PORTER A, RAFOLS I. Is science becoming more interdisciplinary? Measuring and map** six research fields 
over time[J]. Scientometrics, 2009, 81(3): 719-745. 

[15] THOR A, MARX W, LEYDESDORFF L, et al. Introducing CitedReferencesExplorer (CRExplorer): A program 


for reference publication year spectroscopy with cited references standardization[J]. Journal of Informetrics, 2016, 
10(2): 503-515. 

[16] GAGOLEWSKI M. Bibliometric impact assessment with R and the CITAN package[J]. Journal of Informetrics, 
2011, 5(4): 678-692. 

[17] ALONSO S, CABRERIZO F, HERRERA-VIEDMA E, et al. hg-index: A new index to characterize the scientific 
output of researchers based on the h-and g-indices[J]. Scientometrics, 2010, 82(2): 391-400. 

[18] SUD P, THELWALL M. Evaluating altmetrics[J]. Scientometrics, 2014, 98: 1131-1143. 

[19] PRABOWO R, THELWALL M. Sentiment analysis: A combined approach[J]. Journal of Informetrics, 2009, 3(2): 
143-157. 

[20] HAMMARFELT B. Using altmetrics for assessing research impact in the humanities[J]. Scientometrics, 2014, 
101(2): 1419-1430. 

[21] VAN ZYL J M. A simulation study to investigate the accuracy of approximating averages of ratios using ratios of 
averages[J]. Journal of Informetrics, 2013, 7(4): 907-913. 

[22] SIEDSCHLAG I, SMITH D, TURCU C, et al. What determines the location choice of R&D activities by 
multinational firms?[J]. Research Policy, 2013, 42(8): 1420-1430. 


[23] PEPE A, Rodriguez M. Collaboration in sensor network research: an in-depth longitudinal analysis of assortative 
mixing patterns[J]. Scientometrics, 2010, 84(3): 687-701. 


[24] BOUYSSOU D, Marchant T. An axiomatic approach to bibliometric rankings and indices[J]. Journal of 
Informetrics, 2014, 8(3): 449-477. 

[25] SONG M, HEO GE, LEE D. Identifying the landscape of Alzheimer’s disease research with network and content 
analysis[J]. Scientometrics, 2015, 102: 905-927. 

[26] ZHENG J, ZHAO Z, ZHANG X, et al. Influences of counting methods on country rankings: a perspective from 
patent analysis[J]. Scientometrics, 2014, 98: 2087-2102. 

[27] SCHREIBER M. Is the new citation-rank approach P100' in bibliometrics really new?[J]. Journal of Informetrics, 
2014, 8(4): 997-1004. 

[28] FRANCESCHINI F, GALETTO M, MAISANO D, et al. An informetric model for the success-index[J]. Journal 
of Informetrics, 2013, 7(1): 109-116. 

[29] WU C Y. Comparisons of technological innovation capabilities in the solar photovoltaic industries of Taiwan, 
China, and Korea[J]. Scientometrics, 2014, 98(1): 429-446. 

[30] CHANG Y W. Exploring scientific articles contributed by industries in Taiwan[J]. Scientometrics, 2014, 99(2): 
599-613. 


(通信 作者 : MlA Email:andre_lukaiyu@foxmail.com) 


作者 贡献 说 明 /Author contributions: 
陆 凯 余 : 选 题 ， 研 究 设计 ， 数 据 收集 与 处 理 ， 论 文 撰写 与 修改 。 


杨 雪 : 选 题 构 思 ， 论 文 修改 。 
A Study on the Identification Method of Paper Innovation Based on 
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Abstract: [Purpose/Significance] The aim is to construct a mutation index to measure the 
innovation of academic papers, providing a reference for improving the evaluation system of academic 
paper innovation. [Method/Process] A large language model (LLM), Mistral-openorca, is utilized to 
extract the research questions and methods from papers. The mutation index is constructed based on 
two dimensions: the similarity of research questions and methods to existing studies, and the extent to 
which they stimulate subsequent research. [Result/Conclusion] Papers with high innovation scores 
generally have a higher citation frequency; among the top 10 ranked papers by innovation, seven 
introduced original methods or tools, whereas papers in the bottom 10 ranked by innovation had more 
mature research topics and methods at the time of publication, with lower levels of innovation; the 
correlation coefficient between the innovation score of the papers and their citation frequency is 0.530, 
and empirical research results further confirm the effectiveness of the mutation index proposed in this 
paper in measuring the innovation of academic papers. 
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